超越种族主义文本的二元分类,我们的研究从社会科学理论中获取线索,以开发一种用于种族主义检测的多维模型,即污名化,进攻性,责备和排斥。在BERT和主题建模的帮助下,这种分类检测可以洞悉Covid-19期间数字平台上种族主义讨论的基本细节。我们的研究有助于丰富有关社交媒体上种族主义行为的学术讨论。首先,采用阶段分析来捕捉在Covid-19的早期阶段的主题变化的动态,该阶段从国内流行病转变为国际公共卫生紧急情况,后来转变为全球大流行。此外,映射这一趋势可以更准确地预测有关离线世界中种族主义的公众舆论发展,同时,制定了规定的干预策略,以打击像Covid-19这样的全球公共卫生危机期间的种族主义兴起。此外,这项跨学科研究还指出了关于社交网络分析和采矿的未来研究的方向。将社会科学观点整合到计算方法的发展中,为更准确的数据检测和分析提供了见解。
translated by 谷歌翻译
盲目图像超分辨率(SR)的典型方法通过直接估算或学习潜在空间中的降解表示来处理未知的降解。这些方法的一个潜在局限性是,他们假设可以通过整合各种手工降解(例如,比科比克下采样)来模拟未知的降解,这不一定是正确的。现实世界中的降解可能超出了手工降解的模拟范围,这被称为新型降解。在这项工作中,我们建议学习一个潜在的降解空间,可以将其从手工制作的(基本)降解中推广到新的降解。然后将其在此潜在空间中获得的新型降解的表示形式被利用,以生成与新型降解一致的降级图像,以构成SR模型的配对训练数据。此外,我们执行各种推断,以使潜在表示空间中的降解后降解与先前的分布(例如高斯分布)相匹配。因此,我们能够采样更多的高质量表示以进行新的降级,以增加SR模型的训练数据。我们对合成数据集和现实数据集进行了广泛的实验,以验证我们在新型降解中盲目超分辨率的有效性和优势。
translated by 谷歌翻译
序列表示学习的主要挑战是捕获远程时间依赖性。监督序列表示学习的典型方法是基于复发性神经网络构建的,以捕获时间依赖性。这些方法的一个潜在局限性是,它们仅在序列中明确对相邻时间步长的一阶信息相互作用进行建模,因此,未完全利用了非相应时间步长之间的高阶相互作用。它极大地限制了建模远程时间依赖性的能力,因为由于时间信息稀释和梯度消失,无法长期保持一阶相互作用所学的时间特征。为了应对这一限制,我们提出了用于监督序列表示学习的非本地复发性神经记忆(NRNM),该学习执行非本地操作\ Mr {通过自我关注机制}以在滑动时间内学习全阶相互作用内存块和模拟内存块之间的全局相互作用以封闭式的复发方式。因此,我们的模型能够捕获远程依赖性。此外,我们的模型可以蒸馏出高阶相互作用中包含的潜在高级特征。我们验证了NRNM在不同模态的三种序列应用上的有效性和概括,包括序列分类,逐步的顺序预测和序列相似性学习。我们的模型与针对这些序列应用中的每个序列应用专门设计的其他最新方法进行了比较。
translated by 谷歌翻译
虽然对图像背景恢复的研究从常规大小的降级图像恢复已经取得了显着的进步,但由于计算复杂性和记忆使用情况的爆炸式增长以及缺陷,恢复超高分辨率(例如4K)图像仍然是一项极具挑战性的任务。带注释的数据。在本文中,我们提出了一种用于超高分辨率图像恢复的新型模型,称为全局逐步生成网络(GLSGN),该模型采用涉及四个恢复途径的逐步恢复策略:三个局部途径和一条全球途径。本地途径着重于以局部但高分辨率的图像贴片的细粒度进行图像恢复,而全球途径则在缩放尺寸但完整的图像上执行图像恢复,以在全球视图中为本地途径提供线索包括语义和噪声模式。为了平滑这四个途径之间的相互协作,我们的GLSGN旨在确保在低级内容,感知注意力,恢复强度和高级语义方面的四个方面的跨道路一致性。作为这项工作的另一个主要贡献,我们还介绍了迄今为止的第一个超高分辨率数据集,以删除反射和降雨条纹,包括4,670个现实世界和合成图像。跨三个典型的图像背景修复任务进行的广泛实验,包括删除图像反射,删除图像雨条和图像去悬来表明我们的GLSGN始终优于最先进的方法。
translated by 谷歌翻译
本文重点介绍了用神经网络检测分配(OOD)样本的问题。在图像识别任务,训练过的分类往往给人高置信度的远离中分布(ID)数据输入图像,这大大限制了它在现实世界中的应用。为了减轻这个问题,我们提出了一个基于GaN的边界意识分类器(GBAC),用于生成仅包含大多数ID数据的关闭超空间。我们的方法基于传统的神经网分离特征空间作为几个不适合于ood检测的未闭合区域。与GBAC作为辅助模块,封闭的超空间分布以外的OOD数据将具有低得多的分数被分配,允许更有效的检测OOD同时维持分级性能。此外,我们提出了一种快速采样方法,用于产生躺在预先提及的闭合空间的边界上的硬度陈述。在几个数据集和神经网络架构上采取的实验承诺GBAC的有效性。
translated by 谷歌翻译
随着视觉跟踪的快速进展,由于样品的冗余和当前跟踪器之间的缺点,现有的基准变得不那么富有信息,并对所有数据集进行评估非常耗时。因此,一个小型和信息的基准,涵盖了所有典型的具有挑战性的场景,以方便评估跟踪器性能,这是非常兴趣的。在这项工作中,我们开发了一个原则的方法来构建一个小型和信息的跟踪基准(ITB),其中7%的现有和新收集的数据集中的7%,这使得能够有效地评估,同时确保有效性。具体而言,我们首先设计了一种质量评估机制,以选择来自现有基准的最佳信息序列,以考虑到1)挑战水平,2)歧视强度,3)和外观变化的密度。此外,我们收集额外的序列,以确保跟踪方案的多样性和平衡,导致每个场景共20个序列。通过分析15次训练在同一数据的最先进的跟踪器的结果,我们确定每种情况下的稳健跟踪的有效方法,并对该领域的未来研究方向表现出新的挑战。
translated by 谷歌翻译
现场感知对于驾驶决策和交通安全至关重要。然而,作为一种常见的天气,经常出现在现实世界中,特别是在山区,难以准确地观察周围环境。因此,精确地估计了有雾天气下的能见度,可以显着利益交通管理和安全性。要解决此问题,大多数现有方法使用在道路上的固定位置上装备的专业仪器来执行可见性测量;这些方法昂贵且更柔韧。在本文中,我们提出了一种创新的端到端卷积神经网络框架,以估计利用koschmieder的定律专门使用图像数据来估计能见度。所提出的方法通过将物理模型集成到所提出的框架中来估计可见性,而不是通过卷积神经工作直接预测可见度值。此外,我们估计与先前可见性测量方法的可见性地图的可见性估算,其单独预测整个图像的单个值。因此,我们的方法的估计结果是更有信息丰富的,特别是在不均匀的雾场景中,这可以有利于开发更精确的早期预警系统进行有雾的天气,从而更好地保护智能交通基础设施系统并促进其发展。为了验证所提出的框架,使用AIRSIM平台收集包含不同浓度的3,000个有雾图像的虚拟数据集Faci。详细实验表明,该方法达到了最先进的方法竞争性能。
translated by 谷歌翻译
虽然变压器在各种高级视觉任务中取得了显着性能,但它仍然具有挑战性地利用变压器在图像恢复中的全部潜力。 CRUX在典型的编码器 - 解码器框架中应用了有限的应用变压器,用于图像恢复,从层次的不同深度(尺度)的繁重的自我关注计算负荷和低效通信产生。在本文中,我们为图像恢复提供了一种深度和有效的变换器网络,称为U2-iner,能够使用变压器作为核心操作以在深度编码和解码空间中执行图像恢复。具体地,它利用嵌套的U形结构来促进不同层的不同层的相互作用。此外,我们通过引入要压缩令牌表示的特征过滤机制来优化基本变压器块的计算效率。除了典型的图像恢复方式外,我们的U2-ider还在多个方面进行对比学习,以进一步与背景图像分离噪声分量。对各种图像恢复任务的广泛实验,分别包括反射去除,雨串去除和除去,证明了所提出的U2-inter的有效性。
translated by 谷歌翻译
虽然基于深度学习的跟踪方法取得了大量的进展,但它们需要大规模和高质量的注释数据,以进行足够的培训。为了消除昂贵和彻底的注释,我们研究自我监督的学习,以便进行视觉跟踪。在这项工作中,我们开发了作物变换粘贴操作,该操作能够通过在跟踪期间模拟各种外观变化来综合足够的训练数据,包括对象和背景干扰的外观变化。由于目标状态在所有合成数据中都是已知的,因此可以使用没有人为注释的合成数据在日常方式培训现有的深度跟踪器。所提出的目标感知数据综合方法在没有算法改变的情况下适应自我监督的学习框架内的现有跟踪方法。因此,所提出的自我监督学习机制可以无缝地集成到现有的跟踪框架中以进行培训。广泛的实验表明,我们的方法1)在有限注释下的案件下实现了对监督学习计划的有利性能; 2)有助于处理各种跟踪挑战,例如由于其可操纵性导致的物体变形,闭塞或背景杂波; 3)对最先进的无监督的跟踪方法表现有利; 4)提高各种最先进的监督学习框架的性能,包括SiamRPN ++,DIMP和Transt(基于变压器)。
translated by 谷歌翻译
Blind image quality assessment (BIQA) remains challenging due to the diversity of distortion and image content variation, which complicate the distortion patterns crossing different scales and aggravate the difficulty of the regression problem for BIQA. However, existing BIQA methods often fail to consider multi-scale distortion patterns and image content, and little research has been done on learning strategies to make the regression model produce better performance. In this paper, we propose a simple yet effective Progressive Multi-Task Image Quality Assessment (PMT-IQA) model, which contains a multi-scale feature extraction module (MS) and a progressive multi-task learning module (PMT), to help the model learn complex distortion patterns and better optimize the regression issue to align with the law of human learning process from easy to hard. To verify the effectiveness of the proposed PMT-IQA model, we conduct experiments on four widely used public datasets, and the experimental results indicate that the performance of PMT-IQA is superior to the comparison approaches, and both MS and PMT modules improve the model's performance.
translated by 谷歌翻译